from peft import AutoPeftModelForCausalLM
from transformers import AutoTokenizer
path ='news7_c'

print('模型：news7_c')
model = AutoPeftModelForCausalLM.from_pretrained(path, device_map="cuda:0", trust_remote_code=True).eval()
tokenizer = AutoTokenizer.from_pretrained(path, trust_remote_code=True)

# 第一轮对话 1st dialogue turn
print('================>0')
response, history = model.chat(tokenizer, "你是谁？", history=None)
print(response)
# 你好！很高兴为你提供帮助。
print('================>1')
response, history = model.chat(tokenizer, "你是谁开发的？", history=None)
print(response)
print('================>2')
response, history = model.chat(tokenizer, "你叫什么？", history=None)
print(response)

# 第二轮对话 2nd dialogue turn
# response, history = model.chat(tokenizer, "给我讲一个年轻人奋斗创业最终取得成功的故事。", history=history)
# print(response)
# # 这是一个关于一个年轻人奋斗创业最终取得成功的故事。
# # 故事的主人公叫李明，他来自一个普通的家庭，父母都是普通的工人。从小，李明就立下了一个目标：要成为一名成功的企业家。
# # 为了实现这个目标，李明勤奋学习，考上了大学。在大学期间，他积极参加各种创业比赛，获得了不少奖项。他还利用课余时间去实习，积累了宝贵的经验。
# # 毕业后，李明决定开始自己的创业之路。他开始寻找投资机会，但多次都被拒绝了。然而，他并没有放弃。他继续努力，不断改进自己的创业计划，并寻找新的投资机会。
# # 最终，李明成功地获得了一笔投资，开始了自己的创业之路。他成立了一家科技公司，专注于开发新型软件。在他的领导下，公司迅速发展起来，成为了一家成功的科技企业。
# # 李明的成功并不是偶然的。他勤奋、坚韧、勇于冒险，不断学习和改进自己。他的成功也证明了，只要努力奋斗，任何人都有可能取得成功。
#
# # 第三轮对话 3rd dialogue turn
# response, history = model.chat(tokenizer, "给这个故事起一个标题", history=history)
# print(response)


# from peft import AutoPeftModelForCausalLM
#
# model = AutoPeftModelForCausalLM.from_pretrained("./output_qwen", device_map="auto", trust_remote_code=True).eval()
#
# merged_model = model.merge_and_unload()
# merged_model.save_pretrained("news7_c", max_shard_size="2048MB", safe_serialization=True)  # 最大分片2g
#
# from transformers import AutoTokenizer
# tokenizer = AutoTokenizer.from_pretrained("./output_qwen", trust_remote_code=True)
# tokenizer.save_pretrained("news7_c")







